MoLE: Mixture of Latent Experts for Complementary Visual Reasoning
MoLE：互补视觉推理的潜在专家混合
🧭 视觉推理 · 潜在专家混合
Tongji University, China · Hong Kong Polytechnic University, Hong Kong · Alibaba Group, China · University of Electronic Science and Technology of China, China
用潜在专家混合让不同 latent token 提取互补视觉证据，在相同 latent 预算下显著提升视觉推理
📌 工作参考价值（4 点）
- 在多模态商品理解/搜索中，若用 latent token 做视觉推理，避免让多个 token 共享 value projection；可给每个 latent expert 独立 routing/value，迫使它们提取互补视觉证据，减少冗余。
- 两阶段训练可直接复用：先强制视觉证据走 latent pathway 学习专业化表示，再恢复 direct visual access，无需预定义专家角色或中间视觉标签，适合业务多模态 VLM 微调。
- latent summary experts 聚合互补表征，能在固定 latent budget 下提升推理性能，适合多图/多区域商品理解等需要控制计算成本的场景。
- 用 latent-state similarity 和 attention diversity 作为诊断指标，评估多专家或多模态融合是否真正学到互补信息，有助于排查模型冗余。